目前我們正處于數(shù)據(jù)爆發(fā)的時代,大數(shù)據(jù)、移動互聯(lián)網(wǎng)、人工智能、物聯(lián)網(wǎng)等技術的發(fā)展,極大地促進了數(shù)字化進展。隨著更多創(chuàng)新應用的出現(xiàn),數(shù)據(jù)價值被廣泛挖掘,數(shù)據(jù)重要性也得到了越來越多的認可。
此前 IDC 發(fā)布的一份白皮書中預測,全球數(shù)據(jù)圈將從 2018 年的 33ZB 增至 2025 年的 175ZB,實現(xiàn) 5 倍以上的增長。而所謂 " 數(shù)據(jù)圈 ",即每年被創(chuàng)建、采集或是復制的數(shù)據(jù)集合。
白皮書中還指出,娛樂數(shù)據(jù)和視頻監(jiān)控圖像長期以來 ( 并將繼續(xù) ) 是全球數(shù)據(jù)圈的重要推動因素。物聯(lián)網(wǎng) ( IoT ) 設備信號、元數(shù)據(jù) ( 對分析、情境化和人工智能至關重要 ) 和生產(chǎn)力數(shù)據(jù),在當今日益數(shù)字化的世界中增長速度更快。
不應被隨意拋棄的冷數(shù)據(jù),存儲是難題
在另外一份統(tǒng)計中,IDC 指出在這些海量數(shù)據(jù)中,只有 10%~15% 的數(shù)據(jù)是經(jīng)常被訪問的 " 熱數(shù)據(jù) ",絕大部分數(shù)據(jù)在產(chǎn)生之后使用頻率就會大幅降低,甚至完全不再被訪問,成為 " 冷數(shù)據(jù) "。
雖然訪問率極低,但人工智能技術的發(fā)展賦予了這些數(shù)據(jù)新的生命力,隨著其隱藏價值不斷被挖掘,并且大量創(chuàng)造商業(yè)價值,數(shù)據(jù)已成為企業(yè)的核心資產(chǎn)。因此,數(shù)據(jù)是無論如何都不能被輕易丟棄的,無論它們是冷是熱。
但由于冷數(shù)據(jù)量過于龐大,往往會帶來許多存儲方面的挑戰(zhàn)。
最直接擺在企業(yè) IT 部門面前的,就是成本問題。面對井噴式增長的數(shù)據(jù),如果只是簡單地通過增加存儲節(jié)點來提高容量,勢必也將帶來成本的線性增加,這對很多企業(yè)來說是難以接受的。此外,設備占地空間和供電也將帶來更高的成本。
此外,冷數(shù)據(jù)的維護與遷移也成為了一大難題。雖然是冷數(shù)據(jù),但并不代表完全不必關注。IT 部門通常需要定期對數(shù)據(jù)進行檢查,確保數(shù)據(jù)的完整性。而且由于存儲設備存在使用壽命,因此也需要對設備本身進行檢查,及時排除硬件故障。在存儲設備過于老化,生命周期結束之后,也需要對冷數(shù)據(jù)進行遷移,工作量是非常大的。
最后,在進行冷數(shù)據(jù)存儲時,也應充分考慮安全性。保證數(shù)據(jù)不丟失比較常見的策略是進行冗余備份,可一旦數(shù)據(jù)量過于龐大,問題就會接踵而至。包括成本成倍增加、需要維護的設備也相應增加等等。第二,由于大量數(shù)據(jù)被保存在一起,數(shù)據(jù)泄漏造成的代價會更大。
值得一提的是,對于人工智能應用而言,對于冷數(shù)據(jù)存儲也提出了新的要求。如快速訪問、查找數(shù)據(jù),這樣才能確保數(shù)據(jù)科學家團隊的工作效率。
應對冷數(shù)據(jù)存儲挑戰(zhàn)的常見策略
· 數(shù)據(jù)分層。根據(jù)業(yè)務實際需求,從數(shù)據(jù)訪問頻率以及數(shù)據(jù)使用價值等因素進行考慮,制定數(shù)據(jù) " 溫度表 ",并以保證業(yè)務運行為前提,制定合理的自動分層策略,對數(shù)據(jù)的生命周期進行分析,在數(shù)據(jù)降溫之后,自動將其轉移到冷存儲層。
· 數(shù)據(jù)縮減。通過數(shù)據(jù)重刪、壓縮等手段,減少存儲系統(tǒng)中使用的存儲容量,提升存儲空間的利用率。在大部分存儲設備廠商的產(chǎn)品中,都提供了數(shù)據(jù)重刪功能。這種辦法不但讓出了更多的存儲空間,也能有效減少帶寬占用,更便于傳輸,備份更加輕松。
· 數(shù)據(jù)管理。通過智能化、自動化的存儲管理系統(tǒng),能夠有效減輕運維人員的工作負擔,如數(shù)據(jù)檢查、數(shù)據(jù)分類、數(shù)據(jù)遷移、故障預警及排查等等,借助智能化的管理平臺,可以實現(xiàn)高效運維。在部分管理系統(tǒng)中,也提供了機房節(jié)能策略,通過讓設備適時休眠,幫助管理人員優(yōu)化能耗。
· 存儲介質。目前冷數(shù)據(jù)存儲介質大部分仍舊采用的是以機械硬盤為主的數(shù)據(jù)存儲,而從安全性、成本、環(huán)保、長期保存等各種優(yōu)勢來說,光盤也逐漸成為冷數(shù)據(jù)存儲的重要選擇。市面上比較常見的冷數(shù)據(jù)存儲備份介質一般為:光盤、硬盤。如:播德海藍光光盤存儲庫、播德海硬盤存儲庫等。
· 云存儲。云計算越來越被接受,采用云存儲能夠以更靈活、彈性的方式獲得足夠的存儲空間,同時按需付費的方式對企業(yè)來說也是預算友好的。
最后
業(yè)務的發(fā)展,創(chuàng)新應用的出現(xiàn),會帶來更加復雜的 IT 需求,使 IT 環(huán)境也會愈發(fā)多元復雜。對冷數(shù)據(jù)的存儲備份將越來越受到重視。這同樣也將對冷數(shù)據(jù)存儲不斷提出新的需求,因此在考慮冷數(shù)據(jù)存儲問題時,有時也需要結合業(yè)務情況靈活變通。或者直接咨詢專業(yè)的服務公司,按需制定符合實際情況的冷數(shù)據(jù)存儲方案。詳詢:成都吉福匯,服務熱線:400 028 4366/028-85538251